CSV文件输入

CSV文件是一种带有固定格式的文本文件。

文本文件输入

提取日志信息的数据是开发常见的操作，日志信息基本都是文本类型。
tomcat访问日志

Excel输入

微软的Excel目前有两种后缀名的文件分别为：xls和xlsx。
xls:2007年之前
xlsx:2007年之后

多文件合并

数据往往也是以多个文件的形式出现，有的数据还会分散在多个子文件夹。
所以合并数据也是开发中非常常见的操作。

Get data from XML

xml

XML 指可扩展标记语言（EXtensible Markup Language）, XML 被设计用来传输和存储数据。

XPath

XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。

XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。

XPath-语法

选取节点 XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。

下面列出了最有用的路径表达式：

XPath-路径表达式-示例

Get data from XML

JSON Input

json

1
2
3
4
5
6

SON(JavaScript Object Notation, JS 对象简谱) 是一种轻量级的数据交换格式。

JSON核心概念：数组、对象、属性
数组：[ ]
对象：{ }
属性：key:value

JSONPath

JSONPath类似于XPath在xml文档中的定位，JsonPath表达式通常是用来路径检索或设置Json的。

其表达式可以接受“dot–notation”（点记法）和“bracket–notation”（括号记法）格式

点记法：$.store.book[0].title

括号记法：$[‘store’][‘book’][0][‘title’]

JSONPath-操作符

JSON Input

生成记录

静态数据

数据仓库中绝大多数的数据都是业务系统生成的动态数据，但是其中一部分维度数据不是动态的，比如：日期维度。

静态维度数据就可以提前生成。

生成记录

表输入

数据库驱动

数据库驱动是不同数据库开发商（比如oracle mysql等）为了某一种开发语言环境（比如java）能够实现统一的数据库调用而开发的一个程序，他的作用相当于一个翻译人员。

数据库驱动

MySQL驱动下载

https://dev.mysql.com/downloads/connector/j/
根据MySQL数据库不同的版本，下载对应的Java驱动程序。

\pdi-ce-8.2.0.0-342\data-integration\lib目录
下的mysql-connector-java-XXX.jar

新建数据库连接

获取查询的表

• ← Previous Post
• Next Post →